Evaluation and optimization of Big Data Processing on High Performance Computing Systems

Programa Oficial de Doutoramento en Investigación en Tecnoloxías da Información. 524V01[Resumo] Hoxe en día, moitas organizacións empregan tecnoloxías Big Data para extraer información de grandes volumes de datos. A medida que o tamaño destes volumes crece, satisfacer as demandas de rendemento das aplicacións de procesamento de datos masivos faise máis difícil. Esta Tese céntrase en avaliar e optimizar estas aplicacións, presentando dúas novas ferramentas chamadas BDEv e Flame-MR. Por unha banda, BDEv analiza o comportamento de frameworks de procesamento Big Data como Hadoop, Spark e Flink, moi populares na actualidade. BDEv xestiona a súa configuración e despregamento, xerando os conxuntos de datos de entrada e executando cargas de traballo previamente elixidas polo usuario. Durante cada execución, BDEv extrae diversas métricas de avaliación que inclúen rendemento, uso de recursos, eficiencia enerxética e comportamento a nivel de microarquitectura. Doutra banda, Flame-MR permite optimizar o rendemento de aplicacións Hadoop MapReduce. En xeral, o seu deseño baséase nunha arquitectura dirixida por eventos capaz de mellorar a eficiencia dos recursos do sistema mediante o solapamento da computación coas comunicacións. Ademais de reducir o número de copias en memoria que presenta Hadoop, emprega algoritmos eficientes para ordenar e mesturar os datos. Flame-MR substitúe o motor de procesamento de datos MapReduce de xeito totalmente transparente, polo que non é necesario modificar o código de aplicacións xa existentes. A mellora de rendemento de Flame-MR foi avaliada de maneira exhaustiva en sistemas clúster e cloud, executando tanto benchmarks estándar coma aplicacións pertencentes a casos de uso reais. Os resultados amosan unha redución de entre un 40% e un 90% do tempo de execución das aplicacións. Esta Tese proporciona aos usuarios e desenvolvedores de Big Data dúas potentes ferramentas para analizar e comprender o comportamento de frameworks de procesamento de datos e reducir o tempo de execución das aplicacións sen necesidade de contar con coñecemento experto para elo.[Resumen] Hoy en día, muchas organizaciones utilizan tecnologías Big Data para extraer información de grandes volúmenes de datos. A medida que el tamaño de estos volúmenes crece, satisfacer las demandas de rendimiento de las aplicaciones de procesamiento de datos masivos se vuelve más difícil. Esta Tesis se centra en evaluar y optimizar estas aplicaciones, presentando dos nuevas herramientas llamadas BDEv y Flame-MR. Por un lado, BDEv analiza el comportamiento de frameworks de procesamiento Big Data como Hadoop, Spark y Flink, muy populares en la actualidad. BDEv gestiona su configuración y despliegue, generando los conjuntos de datos de entrada y ejecutando cargas de trabajo previamente elegidas por el usuario. Durante cada ejecución, BDEv extrae diversas métricas de evaluación que incluyen rendimiento, uso de recursos, eficiencia energética y comportamiento a nivel de microarquitectura. Por otro lado, Flame-MR permite optimizar el rendimiento de aplicaciones Hadoop MapReduce. En general, su diseño se basa en una arquitectura dirigida por eventos capaz de mejorar la eficiencia de los recursos del sistema mediante el solapamiento de la computación con las comunicaciones. Además de reducir el número de copias en memoria que presenta Hadoop, utiliza algoritmos eficientes para ordenar y mezclar los datos. Flame-MR reemplaza el motor de procesamiento de datos MapReduce de manera totalmente transparente, por lo que no se necesita modificar el código de aplicaciones ya existentes. La mejora de rendimiento de Flame-MR ha sido evaluada de manera exhaustiva en sistemas clúster y cloud, ejecutando tanto benchmarks estándar como aplicaciones pertenecientes a casos de uso reales. Los resultados muestran una reducción de entre un 40% y un 90% del tiempo de ejecución de las aplicaciones. Esta Tesis proporciona a los usuarios y desarrolladores de Big Data dos potentes herramientas para analizar y comprender el comportamiento de frameworks de procesamiento de datos y reducir el tiempo de ejecución de las aplicaciones sin necesidad de contar con conocimiento experto para ello.[Abstract] Nowadays, Big Data technologies are used by many organizations to extract valuable information from large-scale datasets. As the size of these datasets increases, meeting the huge performance requirements of data processing applications becomes more challenging. This Thesis focuses on evaluating and optimizing these applications by proposing two new tools, namely BDEv and Flame-MR. On the one hand, BDEv allows to thoroughly assess the behavior of widespread Big Data processing frameworks such as Hadoop, Spark and Flink. It manages the configuration and deployment of the frameworks, generating the input datasets and launching the workloads specified by the user. During each workload, it automatically extracts several evaluation metrics that include performance, resource utilization, energy efficiency and microarchitectural behavior. On the other hand, Flame-MR optimizes the performance of existing Hadoop MapReduce applications. Its overall design is based on an event-driven architecture that improves the efficiency of the system resources by pipelining data movements and computation. Moreover, it avoids redundant memory copies present in Hadoop, while also using efficient sort and merge algorithms for data processing. Flame-MR replaces the underlying MapReduce data processing engine in a transparent way and thus the source code of existing applications does not require to be modified. The performance benefits provided by Flame- MR have been thoroughly evaluated on cluster and cloud systems by using both standard benchmarks and real-world applications, showing reductions in execution time that range from 40% to 90%. This Thesis provides Big Data users with powerful tools to analyze and understand the behavior of data processing frameworks and reduce the execution time of the applications without requiring expert knowledge

Mexican and Portuguese young students facing disability. A comparative study using social representations

Los resultados de la investigación están basados en una muestra de 479 estudiantes mexicanos y portugueses, de ambos sexos, entre las edades de 15 y 19 años. Su objetivo era identificar y analizar sus sistemas de representación respecto a la discapacidad desde una perspectiva de comparación. Los resultados sugieren que no existe un sistema cerrado de la representación de la discapacidad entre los estudiantes mexicanos y portugueses sino un complejo sistema formado por representaciones centrales y periferias. Además, muestraque muchos denominadores comunes que existen en los dos sistemas de representación, actitudes e imágenes tienden hacia una visión negativa de la discapacidad. Puntos de interés: la aplicación de la teoría de las representaciones sociales en la comprensión de los sistemas sociales de representación para la discapacidad; la identificación de las dimensiones y los elementos que componen los sistemas de representación adoptados por jóvenes estudiantes mexicanos y portugueses

Alfabetización digital y principales iniciativas open access en ciencias de la salud

Ponencias de la Segunda Conferencia internacional sobre brecha digital e inclusión social, celebrada del 28 al 30 de octubre de 2009 en la Universidad Carlos III de MadridLos seres humanos tienden a reaccionar ante las palabras por sus antónimos. Lo primero que se piensa cuando se habla de alfabetización es en los analfabetos. Lamentablemente nos encontramos ante una palabra con un antónimo muy fuerte y con implicancias sociales y culturales negativas. Esta es una de las grandes críticas a la tendencia de llamar “alfabetización” a esta renovación continua de las capacidades de aprender y comunicarse, aunque coincidimos con los que sostienen que la palabra “alfabetización”, además de tener un significando de capacidad para leer y escribir, cada vez con mayor intensidad, ha ido extendiendo gradualmente su campo de aplicación en la era digital hacia un significado más relacionado con la capacidad para utilizar las tecnologías de información y comunicaciones, entendiendo la información que contienen, cualquiera que sea su formato. La alfabetización la entendemos como un proceso constante y permanente de aprendizaje que debe perdurar por toda la vida de las personas para que las mismas sean funcionales en su vida en familia, en sociedad y en las organizaciones en las que trabajan en este nuevo paradigma llamado “Sociedad de la Información”. La Alfabetización Digital es el último peldaño conocido de esta escalada hacia la Sociedad de la Información. Estamos en el medio de un proceso de transformación permanente que nos impone reorganizar nuestras relaciones con la realidad y debemos estar preparados para actuar en consecuencia ya que el tiempo y la disponibilidad y el acceso a información se han transformado en elementos claves de supervivencia en esta nueva Sociedad

Jóvenes estudiantes mexicanos y portugueses frente a la discapacidad. Un estudio comparativo de sus representaciones sociales

The results of the investigation are based on a sample of 479 Mexican and Portuguese students of both genders, between the ages of 15 and 19. Its aim was to identify and analyze their systems of representation with regards to disability from a perspective of comparison. The results suggest that there is not a closed system of representation for disability amongst Mexican and Portuguese students but rather a complex system made up of central representations and peripheries. It further shows that many common denominators exist in the two systems of representation that reveal attitudes and images that tend to a negative view of disability. Points of Interest: the application of the theory of social representations in the understanding of the social systems of representation for disability; the identification of the dimensions and elements that make up the representation systems adopted by young Mexican and Portuguese students.Los resultados de la investigación están basados en una muestra de 479 estudiantes mexicanos y portugueses, de ambos sexos, entre las edades de 15 y 19 años. Su objetivo era identificar y analizar sus sistemas de representación respecto a la discapacidad desde una perspectiva de comparación. Los resultados sugieren que no existe un sistema cerrado de la representación de la discapacidad entre los estudiantes mexicanos y portugueses sino un complejo sistema formado por representaciones centrales y periferias. Además, muestra que muchos denominadores comunes que existen en los dos sistemas de representación, actitudes e imágenes tienden hacia una visión negativa de la discapacidad. Puntos de interés: la aplicación de la teoría de las representaciones sociales en la comprensión de los sistemas sociales de representación para la discapacidad; la identificación de las dimensiones y los elementos que componen los sistemas de representación adoptados por jóvenes estudiantes mexicanos y portugueses

Capacidades, competencias y marcas identitarias de las personas con deficiencia. Las opiniones de los estudiantes portugueses y mexicanos jóvenes

Trata-se de um estudo exploratório e de tipo quantitativo, no qual foi aplicado um inquérito por questionário, redigido em língua portuguesa e em língua espanhola, a duas amostras de jovens estudantes (200 mexicanos e 279 portugueses). As amostras foram escolhidas por conveniência em 9 escolas básicas de ambos os países. Os resultados mostram que maioria dos jovens estudantes portugueses e mexicanos assumem globalmente uma visão inclusiva sobre as capacidades, competências e marcas identitárias das pessoas com deficiência. Embora, entre os estudantes dos dois países existam algumas diferenças na expressão das opiniões, os resultados obtidos são estruturalmente semelhantes. Portanto, os resultados não apontam as diferenças culturais e o contacto com a deficiência como relevantes na formação das opiniões sobre algumas capacidades, competências e marcas identitárias das pessoas com deficiência.This is an exploratory and quantitative study in which a survey, written in Portuguese and Spanish, was conducted in two samples of young students (200 Mexican and 279 Portuguese). For convenience, samples were selected from nine basic schools in both countries. The results show that most young Portuguese and Mexican students take an inclusive view of the capacities, competences and identity marks of people with disabilities. Although differences were found between students in the two countries, the results obtained are structurally similar. Therefore, our study does not confirm the findings of others that consider cultural and contact differences relevant in the formation of some opinions about skills, competences and marks of identity of people with disabilities.Este es un estudio de tipo exploratorio y cuantitativo, que se aplicó un cuestionario, escrito en portugués y español, las dos muestras de jóvenes estudiantes (200 mexicanos y 279 portugueses). Las muestras fueron elegidas por conveniencia en 9 escuelas básicas de ambos países. Los resultados muestran que la mayoría de los estudiantes portugueses y mexicanos jóvenes suelen tener una visión completa de las habilidades, competencias y marcas de identificación de las personas con deficiencia. Aunque entre los estudiantes de ambos países existen algunas diferencias en la expresión de las opiniones, los resultados obtenidos son estructuralmente similares. Por lo tanto, los resultados no apuntan a las diferencias culturales y el contacto con la deficiencia como relevantes en la formación de las opiniones sobre algunas capacidades, competencias y marcas identitarias de las personas con deficiencia.info:eu-repo/semantics/publishedVersio

Pose estimation system based on monocular cameras

Our world is full of wonders. It is filled with mysteries and challenges, which through the ages inspired and called for the human civilization to grow itself, either philosophically or sociologically. In time, humans reached their own physical limitations; nevertheless, we created technology to help us overcome it. Like the ancient uncovered land, we are pulled into the discovery and innovation of our time. All of this is possible due to a very human characteristic - our imagination. The world that surrounds us is mostly already discovered, but with the power of computer vision (CV) and augmented reality (AR), we are able to live in multiple hidden universes alongside our own. With the increasing performance and capabilities of the current mobile devices, AR is what we dream it can be. There are still many obstacles, but this future is already our reality, and with the evolving technologies closing the gap between the real and the virtual world, soon it will be possible for us to surround ourselves into other dimensions, or fuse them with our own. This thesis focuses on the development of a system to predict the camera’s pose estimation in the real-world regarding to the virtual world axis. The work was developed as a sub-module integrated on the M5SAR project: Mobile Five Senses Augmented Reality System for Museums, aiming to a more immerse experience with the total or partial replacement of the environments’ surroundings. It is based mainly on man-made buildings indoors and their typical rectangular cuboid shape. With the possibility of knowing the user’s camera direction, we can then superimpose dynamic AR content, inviting the user to explore the hidden worlds. The M5SAR project introduced a new way to explore the existent historical museums by exploring the human’s five senses: hearing, smell, taste, touch, vision. With this innovative technology, the user is able to enhance their visitation and immerse themselves into a virtual world blended with our reality. A mobile device application was built containing an innovating framework: MIRAR - Mobile Image Recognition based Augmented Reality - containing object recognition, navigation, and additional AR information projection in order to enrich the users’ visit, providing an intuitive and compelling information regarding the available artworks, exploring the hearing and vision senses. A device specially designed was built to explore the additional three senses: smell, taste and touch which, when attached to a mobile device, either smartphone or tablet, would pair with it and automatically react in with the offered narrative related to the artwork, immersing the user with a sensorial experience. As mentioned above, the work presented on this thesis is relative to a sub-module of the MIRAR regarding environment detection and the superimposition of AR content. With the main goal being the full replacement of the walls’ contents, and with the possibility of keeping the artwork visible or not, it presented an additional challenge with the limitation of using only monocular cameras. Without the depth information, any 2D image of an environment, to a computer doesn’t represent the tridimensional layout of the real-world dimensions. Nevertheless, man-based building tends to follow a rectangular approach to divisions’ constructions, which allows for a prediction to where the vanishing point on any environment image may point, allowing the reconstruction of an environment’s layout from a 2D image. Furthermore, combining this information with an initial localization through an improved image recognition to retrieve the camera’s spatial position regarding to the real-world coordinates and the virtual-world, alas, pose estimation, allowed for the possibility of superimposing specific localized AR content over the user’s mobile device frame, in order to immerse, i.e., a museum’s visitor into another era correlated to the present artworks’ historical period. Through the work developed for this thesis, it was also presented a better planar surface in space rectification and retrieval, a hybrid and scalable multiple images matching system, a more stabilized outlier filtration applied to the camera’s axis, and a continuous tracking system that works with uncalibrated cameras and is able to achieve particularly obtuse angles and still maintain the surface superimposition. Furthermore, a novelty method using deep learning models for semantic segmentation was introduced for indoor layout estimation based on monocular images. Contrary to the previous developed methods, there is no need to perform geometric calculations to achieve a near state of the art performance with a fraction of the parameters required by similar methods. Contrary to the previous work presented on this thesis, this method performs well even in unseen and cluttered rooms if they follow the Manhattan assumption. An additional lightweight application to retrieve the camera pose estimation is presented using the proposed method.O nosso mundo está repleto de maravilhas. Está cheio de mistérios e desafios, os quais, ao longo das eras, inspiraram e impulsionaram a civilização humana a evoluir, seja filosófica ou sociologicamente. Eventualmente, os humanos foram confrontados com os seus limites físicos; desta forma, criaram tecnologias que permitiram superá-los. Assim como as terras antigas por descobrir, somos impulsionados à descoberta e inovação da nossa era, e tudo isso é possível graças a uma característica marcadamente humana: a nossa imaginação. O mundo que nos rodeia está praticamente todo descoberto, mas com o poder da visão computacional (VC) e da realidade aumentada (RA), podemos viver em múltiplos universos ocultos dentro do nosso. Com o aumento da performance e das capacidades dos dispositivos móveis da atualidade, a RA pode ser exatamente aquilo que sonhamos. Continuam a existir muitos obstáculos, mas este futuro já é o nosso presente, e com a evolução das tecnologias a fechar o fosso entre o mundo real e o mundo virtual, em breve será possível cercarmo-nos de outras dimensões, ou fundi-las dentro da nossa. Esta tese foca-se no desenvolvimento de um sistema de predição para a estimação da pose da câmara no mundo real em relação ao eixo virtual do mundo. Este trabalho foi desenvolvido como um sub-módulo integrado no projeto M5SAR: Mobile Five Senses Augmented Reality System for Museums, com o objetivo de alcançar uma experiência mais imersiva com a substituição total ou parcial dos limites do ambiente. Dedica-se ao interior de edifícios de arquitetura humana e a sua típica forma de retângulo cuboide. Com a possibilidade de saber a direção da câmara do dispositivo, podemos então sobrepor conteúdo dinâmico de RA, num convite ao utilizador para explorar os mundos ocultos. O projeto M5SAR introduziu uma nova forma de explorar os museus históricos existentes através da exploração dos cinco sentidos humanos: a audição, o cheiro, o paladar, o toque e a visão. Com essa tecnologia inovadora, o utilizador pode engrandecer a sua visita e mergulhar num mundo virtual mesclado com a nossa realidade. Uma aplicação para dispositivo móvel foi criada, contendo uma estrutura inovadora: MIRAR - Mobile Image Recognition based Augmented Reality - a possuir o reconhecimento de objetos, navegação e projeção de informação de RA adicional, de forma a enriquecer a visita do utilizador, a fornecer informação intuitiva e interessante em relação às obras de arte disponíveis, a explorar os sentidos da audição e da visão. Foi também desenhado um dispositivo para exploração em particular dos três outros sentidos adicionais: o cheiro, o toque e o sabor. Este dispositivo, quando afixado a um dispositivo móvel, como um smartphone ou tablet, emparelha e reage com este automaticamente com a narrativa relacionada à obra de arte, a imergir o utilizador numa experiência sensorial. Como já referido, o trabalho apresentado nesta tese é relativo a um sub-módulo do MIRAR, relativamente à deteção do ambiente e a sobreposição de conteúdo de RA. Sendo o objetivo principal a substituição completa dos conteúdos das paredes, e com a possibilidade de manter as obras de arte visíveis ou não, foi apresentado um desafio adicional com a limitação do uso de apenas câmaras monoculares. Sem a informação relativa à profundidade, qualquer imagem bidimensional de um ambiente, para um computador isso não se traduz na dimensão tridimensional das dimensões do mundo real. No entanto, as construções de origem humana tendem a seguir uma abordagem retangular às divisões dos edifícios, o que permite uma predição de onde poderá apontar o ponto de fuga de qualquer ambiente, a permitir a reconstrução da disposição de uma divisão através de uma imagem bidimensional. Adicionalmente, ao combinar esta informação com uma localização inicial através de um reconhecimento por imagem refinado, para obter a posição espacial da câmara em relação às coordenadas do mundo real e do mundo virtual, ou seja, uma estimativa da pose, foi possível alcançar a possibilidade de sobrepor conteúdo de RA especificamente localizado sobre a moldura do dispositivo móvel, de maneira a imergir, ou seja, colocar o visitante do museu dentro de outra era, relativa ao período histórico da obra de arte em questão. Ao longo do trabalho desenvolvido para esta tese, também foi apresentada uma melhor superfície planar na recolha e retificação espacial, um sistema de comparação de múltiplas imagens híbrido e escalável, um filtro de outliers mais estabilizado, aplicado ao eixo da câmara, e um sistema de tracking contínuo que funciona com câmaras não calibradas e que consegue obter ângulos particularmente obtusos, continuando a manter a sobreposição da superfície. Adicionalmente, um algoritmo inovador baseado num modelo de deep learning para a segmentação semântica foi introduzido na estimativa do traçado com base em imagens monoculares. Ao contrário de métodos previamente desenvolvidos, não é necessário realizar cálculos geométricos para obter um desempenho próximo ao state of the art e ao mesmo tempo usar uma fração dos parâmetros requeridos para métodos semelhantes. Inversamente ao trabalho previamente apresentado nesta tese, este método apresenta um bom desempenho mesmo em divisões sem vista ou obstruídas, caso sigam a mesma premissa Manhattan. Uma leve aplicação adicional para obter a posição da câmara é apresentada usando o método proposto

MarDRe: efficient MapReduce-based removal of duplicate DNA reads in the cloud

This is a pre-copyedited, author-produced version of an article accepted for publication in Bioinformatics following peer review. The version of record Roberto R. Expósito, Jorge Veiga, Jorge González-Domínguez, Juan Touriño; MarDRe: efficient MapReduce-based removal of duplicate DNA reads in the cloud, Bioinformatics, Volume 33, Issue 17, 1 September 2017, Pages 2762–2764 is available online at: https://doi.org/10.1093/bioinformatics/btx307[Abstract] This article presents MarDRe, a de novo cloud-ready duplicate and near-duplicate removal tool that can process single- and paired-end reads from FASTQ/FASTA datasets. MarDRe takes advantage of the widely adopted MapReduce programming model to fully exploit Big Data technologies on cloud-based infrastructures. Written in Java to maximize cross-platform compatibility, MarDRe is built upon the open-source Apache Hadoop project, the most popular distributed computing framework for scalable Big Data processing. On a 16-node cluster deployed on the Amazon EC2 cloud platform, MarDRe is up to 8.52 times faster than a representative state-of-the-art tool.Ministerio de Economia y Competitividad; TIN2016-75845-PMinisterio de Educación; FPU014/0280

An analysis of the dynamics of efficiency of mutual funds

This paper studies the efficiency of a sample of mutual funds that invest in the United States. Estimating a production function using Bayesian stochastic frontier analysis, we find evidence that the underlying technology presents economies of scale both at the fund and firm level. We also find evidence that informational asymmetries affect efficiency. Funds that invest domestically are likely to be more efficient than foreign funds investing in the US. Moreover, an inspection at the distribution process shows that funds sold directly to investors rather than by financial intermediaries are more efficient. The level of inefficiency persistence is overall high.Persistency of inefficiency is particularly higher for ethical funds, funds oriented to large firm sand lower in funds oriented to growth firms. The analysis done in two separate periods also shows that the efficiency of the funds changes. In particular, funds oriented to non-ethical, small and growth firms become more efficient over the period. Finally, funds' efficiency decreases during global financial crisis, but at the end of the sample period some funds recover and their efficiency levels are higher than those registered before the financial crisis. Our results have implications for investors' decisions in mutual funds.The authors acknowledge financial support from Fundação para a Ciência e Tecnologia PEst-OE/EGE/UI0315/2011 and from the Spanish Ministry of Education and Science, research project ECO2012-3240